Invariant Gradient Alignment for Robust Reasoning Distillation
不变梯度对齐的鲁棒推理蒸馏
🧭 鲁棒知识蒸馏 · 不变学习
University of Oxford · FLock.io
通过逻辑同构集和连续梯度冲突掩码对齐梯度，提升小模型链式推理的 OOD 泛化性
📌 工作参考价值（4 点）
- 蒸馏推理模型时，构造跨域逻辑同构数据可显著减少表面捷径学习，对需要跨品类解释的推荐系统 CoT 蒸馏有直接借鉴。
- 连续梯度冲突掩码（M=exp(-τ·V)）可抑制任务特定维度，保留跨任务不变梯度，适用于多任务推荐模型（如同时优化点击、转化、停留）中避免负迁移。
- 将掩码梯度通过截断 SVD 投影回 LoRA 子空间，不引入额外推理参数，适合在参数高效的推荐召回或排序模型微调中部署。
- 逻辑一致性得分可作为评估指标，用于检测推荐解释或 Agent 推理的 OOD 稳定性，促进生产级可靠性。